Mạng nơ ron là gì? Các công bố khoa học về Mạng nơ ron

Chúng tôi đã huấn luyện một mạng nơ-ron tích chập sâu lớn để phân loại 1,2 triệu hình ảnh độ phân giải cao trong cuộc thi ImageNet LSVRC-2010 thành 1000 lớp khác nhau. Trên dữ liệu kiểm tra, chúng tôi đạt được tỷ lệ lỗi top-1 và top-5 lần lượt là 37,5% và 17,0%, điều này tốt hơn nhiều so với công nghệ tiên tiến trước đó. Mạng nơ-ron có 60 triệu tham số và 650.000 nơ-ron, bao gồm năm lớp tích chập, một số lớp có kèm theo lớp max-pooling, và ba lớp liên kết hoàn toàn với softmax 1000 chiều cuối cùng. Để tăng tốc quá trình huấn luyện, chúng tôi đã sử dụng nơ-ron không bão hòa và một triển khai GPU rất hiệu quả của phép toán tích chập. Để giảm thiểu hiện tượng quá khớp trong các lớp liên kết hoàn toàn, chúng tôi đã áp dụng một phương pháp điều hòa được phát triển gần đây gọi là "dropout" và đã chứng tỏ rất hiệu quả. Chúng tôi cũng đã tham gia một biến thể của mô hình này trong cuộc thi ILSVRC-2012 và đạt được tỷ lệ lỗi kiểm tra top-5 chiến thắng là 15,3%, so với 26,2% đạt được bởi bài dự thi đứng thứ hai.

Các đặc tính tính toán của việc sử dụng các sinh vật sống hoặc xây dựng máy tính có thể xuất hiện như những thuộc tính tập hợp của các hệ thống có một số lượng lớn các thành phần đơn giản tương đương (hoặc nơ-ron). Ý nghĩa vật lý của bộ nhớ có thể tìm kiếm theo nội dung được mô tả bởi một dòng không gian pha thích hợp của trạng thái của một hệ thống. Một mô hình cho hệ thống như vậy được cung cấp, dựa trên các khía cạnh của thần kinh sinh học nhưng dễ dàng thích nghi với mạch tích hợp. Các thuộc tính tập hợp của mô hình này tạo ra một bộ nhớ có thể tìm kiếm theo nội dung, mà từ đó có thể thu được toàn bộ bộ nhớ từ bất kỳ phần nào có kích thước đủ lớn. Thuật toán cho sự tiến hóa theo thời gian của trạng thái của hệ thống dựa trên xử lý song song không đồng bộ. Các thuộc tính tập hợp phát sinh bổ sung bao gồm một số khả năng tổng quát, nhận diện quen thuộc, phân loại, sửa lỗi, và giữ lại chuỗi thời gian. Các thuộc tính tập hợp chỉ nhạy cảm yếu với các chi tiết của mô hình hoặc sự cố của các thiết bị cá nhân.

Dữ liệu nhiều chiều có thể được chuyển đổi thành các mã thấp chiều bằng cách huấn luyện một mạng nơ-ron đa lớp với lớp trung tâm nhỏ để tái tạo các vector đầu vào nhiều chiều. Phương pháp giảm gradient có thể được sử dụng để tinh chỉnh các trọng số trong các mạng 'autoencoder' như vậy, nhưng điều này chỉ hoạt động tốt nếu các trọng số ban đầu gần với một giải pháp tốt. Chúng tôi mô tả một phương pháp hiệu quả để khởi tạo các trọng số cho phép các mạng autoencoder sâu học các mã thấp chiều hoạt động tốt hơn nhiều so với phân tích thành phần chính như một công cụ để giảm kích thước dữ liệu.

Điều kiện thị trường không ổn định do đổi mới và sự gia tăng cường độ và đa dạng hoá cạnh tranh đã dẫn đến việc năng lực tổ chức thay vì phục vụ thị trường trở thành cơ sở chính để các công ty xây dựng chiến lược dài hạn của mình. Nếu tài nguyên chiến lược quan trọng nhất của công ty là tri thức, và nếu tri thức tồn tại dưới hình thức chuyên biệt giữa các thành viên trong tổ chức, thì bản chất của năng lực tổ chức là sự hội nhập tri thức chuyên môn của các cá nhân.

Bài viết này phát triển một lý thuyết dựa trên tri thức về năng lực tổ chức và dựa trên nghiên cứu về động lực cạnh tranh, quan điểm dựa trên tài nguyên của công ty, năng lực tổ chức và học hỏi tổ chức. Cốt lõi của lý thuyết là phân tích các cơ chế thông qua đó tri thức được hội nhập trong các công ty nhằm tạo dựng năng lực. Lý thuyết được sử dụng để khám phá tiềm năng của các công ty trong việc thiết lập lợi thế cạnh tranh trong các thị trường động, bao gồm vai trò của mạng lưới công ty dưới điều kiện liên kết không ổn định giữa đầu vào tri thức và đầu ra sản phẩm. Phân tích chỉ ra những khó khăn trong việc tạo ra “năng lực phản ứng linh hoạt và động” đã được xem là trọng tâm để thành công trong thị trường cạnh tranh khốc liệt.

Phân tích thành phần chính phi tuyến (NLPCA) là một kỹ thuật mới cho phân tích dữ liệu đa biến, tương tự như phương pháp phân tích thành phần chính (PCA) nổi tiếng. NLPCA, giống như PCA, được sử dụng để xác định và loại bỏ các mối tương quan giữa các biến vấn đề nhằm hỗ trợ giảm chiều, trực quan hóa và phân tích dữ liệu khám phá. Trong khi PCA chỉ xác định các mối tương quan tuyến tính giữa các biến, NLPCA phát hiện cả các mối tương quan tuyến tính và phi tuyến, không bị giới hạn bởi đặc điểm của các phi tuyến trong dữ liệu. NLPCA hoạt động bằng cách huấn luyện một mạng nơ-ron feedforward để thực hiện ánh xạ đồng nhất, trong đó đầu vào của mạng được tái hiện ở lớp đầu ra. Mạng này chứa một lớp “nút thắt” nội bộ (chứa ít nút hơn so với các lớp đầu vào hoặc đầu ra), buộc mạng phải phát triển một biểu diễn gọn gàng của dữ liệu đầu vào và hai lớp ẩn bổ sung. Phương pháp NLPCA được trình bày qua dữ liệu phản ứng lô mô phỏng theo thời gian. Kết quả cho thấy NLPCA thành công trong việc giảm chiều và tạo ra bản đồ không gian đặc trưng tương tự như phân bố thực tế của các tham số hệ thống tiềm ẩn.

Một vi sinh vật khử Fe(III) và Mn(IV) đã được tách ra từ trầm tích nước ngọt của sông Potomac, Maryland. Chế phẩm này được ký hiệu là GS-15, phát triển trong môi trường kị khí xác định với axetate làm chất cho electron duy nhất và Fe(III), Mn(IV) hoặc nitrat làm chất nhận electron duy nhất. GS-15 đã oxi hóa axetate thành carbon dioxide với sự khử đồng thời oxit sắt Fe(III) vô định hình thành magnetit (Fe ₃ O ₄ ). Khi Fe(III) citrate thay thế oxit sắt Fe(III) vô định hình như chất nhận electron, GS-15 phát triển nhanh hơn và đã khử toàn bộ Fe(III) thêm vào thành Fe(II). GS-15 đã khử oxit sắt Fe(III) vô định hình tự nhiên nhưng không khử đáng kể các dạng Fe(III) có tinh thể cao. Fe(III) được khử một cách tối ưu ở pH từ 6.7 đến 7 và ở nhiệt độ từ 30 đến 35°C. Ethanol, butyrate, và propionate cũng có thể đóng vai trò như chất cho electron trong quá trình khử Fe(III). Nhiều hợp chất hữu cơ khác và hydro không thể làm điều này. MnO ₂ đã bị khử hoàn toàn thành Mn(II), gây kết tủa dưới dạng rhodochrosite (MnCO ₃ ). Nitrat đã được khử thành amoniac. Oxy không thể làm chất nhận electron, và nó đã ức chế sự phát triển với các chất nhận electron khác. Đây là lần đầu tiên cho thấy rằng vi sinh vật có thể hoàn toàn oxi hóa các hợp chất hữu cơ với Fe(III) hoặc Mn(IV) làm chất nhận electron duy nhất và rằng sự oxi hóa chất hữu cơ kết hợp với sự khử Fe(III) hoặc Mn(IV) dissimilatory có thể tạo ra năng lượng cho sự phát triển của vi sinh vật. GS-15 cung cấp một mô hình cho cách mà các phản ứng xúc tác bằng enzym có thể là những cơ chế có ý nghĩa định lượng cho sự khử sắt và mangan trong môi trường kị khí.

Nhận diện hoạt động con người (HAR) thường được giải quyết bằng cách sử dụng các đặc trưng kỹ thuật được thu thập thông qua các quy trình heuristics. Nghiên cứu hiện tại cho thấy rằng các mạng nơ-ron tích chập sâu (CNN) rất phù hợp để tự động hóa quá trình trích xuất đặc trưng từ các dữ liệu cảm biến thô. Tuy nhiên, các hoạt động của con người bao gồm các chuỗi chuyển động phức tạp, và việc nắm bắt động lực tạm thời này là rất quan trọng cho việc nhận diện hoạt động thành công. Dựa trên sự thành công gần đây của các mạng nơ-ron tái kết nối cho các lĩnh vực chuỗi thời gian, chúng tôi đề xuất một khung sâu tổng quát cho nhận diện hoạt động dựa trên các đơn vị tích chập và đơn vị LSTM, mà: (i) phù hợp cho các cảm biến đeo được đa mô đun; (ii) có khả năng thực hiện bố hợp cảm biến một cách tự nhiên; (iii) không yêu cầu kiến thức chuyên môn trong việc thiết kế các đặc trưng; và (iv) mô hình hóa một cách rõ ràng động lực tạm thời của các đặc trưng kích hoạt. Chúng tôi đánh giá khung của mình trên hai tập dữ liệu, một trong số đó đã được sử dụng trong một thách thức nhận diện hoạt động công cộng. Kết quả cho thấy khung của chúng tôi vượt trội hơn các mạng nơ-ron không có hồi tiếp đang cạnh tranh trên tập dữ liệu thách thức với mức trung bình 4%; vượt hơn một số kết quả đã báo cáo trước đây lên đến 9%. Kết quả của chúng tôi cho thấy rằng khung có thể được áp dụng cho các mô hình cảm biến đồng nhất, nhưng cũng có thể bố hợp các cảm biến đa mô đun để cải thiện hiệu suất. Chúng tôi xác định ảnh hưởng của các siêu tham số kiến trúc chủ chốt đối với hiệu suất nhằm cung cấp cái nhìn về việc tối ưu hóa chúng.

Các khoáng vật oxit mangan đã được sử dụng trong hàng nghìn năm—bởi người xưa để chế tạo thuốc nhuộm và làm trong suốt kính, và ngày nay là quặng mangan, xúc tác, và vật liệu cho pin. Hơn 30 khoáng vật oxit mangan xuất hiện trong nhiều bối cảnh địa chất khác nhau. Chúng là thành phần chính của các hạt mangan trải rộng trên diện tích lớn của đáy đại dương và đáy nhiều hồ nước ngọt. Các khoáng vật oxit mangan có mặt khắp nơi trong đất và trầm tích và tham gia vào nhiều phản ứng hóa học ảnh hưởng đến nước ngầm và thành phần đất. Sự xuất hiện điển hình của chúng dưới dạng hỗn hợp hạt mịn khiến việc nghiên cứu cấu trúc nguyên tử và hóa học tinh thể của chúng trở nên khó khăn. Tuy nhiên, trong những năm gần đây, các nghiên cứu sử dụng kính hiển vi điện tử truyền qua và các phương pháp nhiễu xạ tia X bột và neutron đã cung cấp những hiểu biết mới quan trọng về cấu trúc và tính chất của những vật liệu này. Cấu trúc tinh thể của todorokite và birnessite, hai trong số các khoáng vật oxit mangan phổ biến hơn trong các mỏ trên đất liền và hạt đại dương, đã được xác định bằng dữ liệu nhiễu xạ tia X bột và phương pháp tinh chỉnh Rietveld. Do các đường hầm lớn trong todorokite và các cấu trúc liên quan, có nhiều sự quan tâm trong việc sử dụng những vật liệu này và các đồng thúc đẩy tổng hợp như là xúc tác và tác nhân trao đổi cation. Các khoáng vật thuộc nhóm birnessite có cấu trúc lớp và dễ dàng trải qua các phản ứng oxy hóa khử và phản ứng trao đổi cation, đóng vai trò quan trọng trong việc kiểm soát hóa học nước ngầm.

Giới hạn của trí nhớ làm việc được định nghĩa tốt nhất về mức độ phức tạp của các quan hệ có thể được xử lý song song. Độ phức tạp được định nghĩa là số lượng các chiều hoặc nguồn biến đổi liên quan. Một quan hệ đơn có một đối số và một nguồn biến đổi; đối số của nó chỉ có thể được hiện thực hóa theo một cách tại một thời điểm. Một quan hệ nhị phân có hai đối số, hai nguồn biến đổi, và hai hiện thực hóa, và cứ như vậy. Số chiều liên quan đến số lượng các phần thông tin, vì các thuộc tính trên các chiều cũng như các phần thông tin đều là các đơn vị thông tin độc lập với kích thước bất kỳ. Các nghiên cứu về giới hạn của trí nhớ làm việc cho thấy rằng có một giới hạn mềm tương ứng với xử lý song song một quan hệ bậc bốn. Những khái niệm phức tạp hơn được xử lý bằng cách “phân khúc” hoặc “tập hợp khái niệm”. Trong phân khúc, các nhiệm vụ được chia thành các thành phần không vượt quá khả năng xử lý và có thể được xử lý tuần tự. Trong tập hợp khái niệm, các đại diện bị “thu gọn” để giảm số chiều và do đó giảm tải xử lý, nhưng phải trả giá bằng việc làm một số thông tin quan hệ trở nên không truy cập được. Mô hình mạng nơron của các đại diện quan hệ cho thấy rằng các quan hệ có nhiều đối số hơn có chi phí tính toán cao hơn, điều này trùng khớp với những phát hiện thử nghiệm về tải xử lý cao hơn ở người. Độ phức tạp của quan hệ liên quan đến tải xử lý trong lập luận và hiểu câu và có thể phân biệt giữa năng lực của loài cao hơn. Độ phức tạp của các mối quan hệ được trẻ em xử lý tăng lên theo độ tuổi. Các hàm ý đối với các mô hình mạng nơron và lý thuyết về nhận thức và phát triển nhận thức được thảo luận.

Hình ảnh X-quang ngực là kỹ thuật chẩn đoán hình ảnh đầu tiên đóng vai trò quan trọng trong chẩn đoán bệnh COVID-19. Nhờ vào sự sẵn có cao của các tập dữ liệu hình ảnh được chú thích quy mô lớn, đã đạt được nhiều thành công lớn trong việc sử dụng mạng nơ-ron tích chập (CNN) cho nhận diện và phân loại hình ảnh. Tuy nhiên, do sự hạn chế về khả năng tiếp cận các hình ảnh y tế được chú thích, việc phân loại hình ảnh y tế vẫn là thách thức lớn nhất trong chẩn đoán y tế. Nhờ có học chuyển giao, một cơ chế hiệu quả có thể cung cấp giải pháp hứa hẹn bằng cách chuyển giao kiến thức từ các nhiệm vụ nhận diện đối tượng chung sang các nhiệm vụ đặc thù trong miền. Trong bài báo này, chúng tôi xác thực và giới thiệu một mạng CNN sâu, gọi là Phân tách, Chuyển giao và Tổng hợp (DeTraC), cho việc phân loại hình ảnh X-quang ngực bệnh COVID-19. DeTraC có thể xử lý bất kỳ sự bất thường nào trong tập dữ liệu hình ảnh bằng cách điều tra biên giới lớp của nó thông qua cơ chế phân tách lớp. Kết quả thực nghiệm cho thấy khả năng của DeTraC trong việc phát hiện các trường hợp COVID-19 từ một tập dữ liệu hình ảnh toàn diện được thu thập từ nhiều bệnh viện trên thế giới. Độ chính xác cao 93.1% (với độ nhạy 100%) đã được đạt được bởi DeTraC trong việc phát hiện hình ảnh X-quang COVID-19 từ các trường hợp bình thường và trường hợp hội chứng hô hấp cấp tính nặng.